অ্যাপাচি পিওআই (Apache POI) লাইব্রেরি ব্যবহারের সময় অনেক বড় ফাইল বা ডেটা প্রসেসিং এর ক্ষেত্রে মেমরি ব্যবস্থাপনা একটি গুরুত্বপূর্ণ বিষয় হয়ে দাঁড়ায়। অ্যাপাচি পিওআই স্ট্রিমিং API এবং মেমরি অপটিমাইজেশনের মাধ্যমে কম মেমরিতে বড় ডকুমেন্ট ফাইল গুলি পরিচালনা করার জন্য কিছু কার্যকরী পদ্ধতি সরবরাহ করে।
স্ট্রিমিং API কি?
অ্যাপাচি পিওআই স্ট্রিমিং API এমন একটি উপায়, যা বড় Excel বা Word ফাইলের ডেটা প্রক্রিয়া করতে খুব কম মেমরি ব্যবহার করে। স্ট্যান্ডার্ড POI লাইব্রেরি সব ডেটা একসাথে মেমরিতে লোড করে, যা বড় ফাইল নিয়ে কাজ করার সময় মেমরি সমস্যা তৈরি করতে পারে। কিন্তু স্ট্রিমিং API ব্যবহার করলে ডেটা লাইনে লাইনে অথবা চাঙ্ক বাই চাঙ্ক লোড করা হয়, ফলে কম মেমরি খরচ হয় এবং বড় ফাইল প্রসেসিং আরো দ্রুত হয়।
স্ট্রিমিং API এর প্রধান সুবিধা:
- কম মেমরি ব্যবহারের ক্ষমতা: বড় ডেটা ফাইল বা এক্সেল শীটগুলোকে সেল বাই সেল, রো বাই রো লোড করে মেমরি অপটিমাইজেশন হয়।
- দ্রুত প্রসেসিং: কারণ এটি পুরো ফাইল একবারে লোড না করে, বরং ধীরে ধীরে ডেটা প্রসেস করে, এটি বড় ডেটা সেটের জন্য দ্রুত কাজ করে।
অ্যাপাচি পিওআই স্ট্রিমিং API ব্যবহার
Excel ফাইলের জন্য Streaming API ব্যবহার
অ্যাপাচি পিওআই এর SXSSF (Streaming XML Spreadsheet Format) API ব্যবহার করে আমরা .xlsx ফাইলগুলোর সাথে কম মেমরি ব্যবহার করে কাজ করতে পারি। এটি সম্পূর্ণ Excel ফাইলকে মেমরিতে লোড না করে, বরং ধীরে ধীরে ডেটা প্রসেস করে।
// Example of writing an Excel file using SXSSF for streaming
SXSSFWorkbook workbook = new SXSSFWorkbook();
SXSSFSheet sheet = workbook.createSheet("Sheet 1");
// Add rows and cells
for (int rownum = 0; rownum < 100000; rownum++) {
SXSSFRow row = sheet.createRow(rownum);
for (int cellnum = 0; cellnum < 10; cellnum++) {
SXSSFCell cell = row.createCell(cellnum);
cell.setCellValue("Row " + rownum + " Cell " + cellnum);
}
}
FileOutputStream fos = new FileOutputStream("streaming_example.xlsx");
workbook.write(fos);
fos.close();
workbook.dispose();
এখানে SXSSFWorkbook ব্যবহার করে ডেটা স্ট্রিমিং আকারে লেখার উদাহরণ দেওয়া হয়েছে, যা মেমরি ব্যবহারে দক্ষ।
মেমরি অপটিমাইজেশন কৌশল
মেমরি ব্যবহারে উন্নতি করতে কিছু কৌশল:
- SXSSF ব্যবহার: বড় Excel ফাইলগুলোর সাথে কাজ করার সময়
SXSSFক্লাস ব্যবহার করতে হবে, কারণ এটি পুরনো HSSF এর মতো পুরো ফাইলকে মেমরিতে লোড না করে স্ট্রিম আকারে ডেটা লেখে এবং পড়ে। - XSSF এর পরিবর্তে SXSSF:
.xlsxফাইলের জন্য যখনXSSFব্যবহার করা হয়, তখন সমস্ত ডেটা মেমরিতে লোড হয়। তবেSXSSFব্যবহার করলে মেমরি খরচ কম হয়। - ডেটা প্রসেসিং স্ট্রিম আকারে করা: একসাথে সব ডেটা লোড করার পরিবর্তে, ডেটাকে এক লাইনে বা এক চাঙ্কে প্রসেস করা উচিত, যেমন POI এর স্ট্রিমিং API এর মাধ্যমে।
- ক্যাশে ব্যবহার: যদি অনেক সেল বা রো থাকে, তবে কিছু ডেটা ক্যাশে রেখে পরবর্তীতে প্রয়োজনে লোড করা যেতে পারে। এটি মেমরি ব্যবহারের দক্ষতা বৃদ্ধি করে।
সারাংশ
অ্যাপাচি পিওআই এর স্ট্রিমিং API, বিশেষ করে SXSSF, বড় ডেটা ফাইল পরিচালনায় মেমরি অপটিমাইজেশনের জন্য একটি কার্যকরী পদ্ধতি। এটি কম মেমরি ব্যবহারের মাধ্যমে Excel, Word, এবং অন্যান্য ডকুমেন্ট ফাইলগুলির সাথে কাজ করার সক্ষমতা বাড়ায়। স্ট্রিমিং API ব্যবহার করলে বড় ফাইলের সাথে কাজ করার সময় মেমরি সাশ্রয়ী এবং দ্রুত পারফর্মেন্স পাওয়া যায়, যা অনেক ক্ষেত্রে অপরিহার্য।
Read more
